primer documento que se conserva sobre esta leyenda es un panfleto de cuatro hojas llamado Kurtze Beschreibung und Erzählung von einem Juden mit Namen Ahasverus (Breve descripción y relato de un judío de nombre Ahasverus), impreso en Leiden en 1602 por Christoff Crutzer. Sin embargo, no hay registro de ningún impresor con ese nombre en los archivos de Leiden, por lo que se supone que este nombre es un seudónimo.

La leyenda se dispersó rápidamente por Alemania; no menos de ocho ediciones diferentes de la leyenda aparecieron durante ese mismo año, y antes del fin del siglo XVIII había al menos 40 variantes en ediciones diferentes. Se conocen 8 ediciones en Holandés y Flamenco; y la primera versión en francés apareció en Burdeos en 1609. La primera versión inglesa fue una parodia de 1625 (Jacobs and Wolf, "Bibliotheca Anglo-Judaica", p. 44, No. 221). También se conocen versiones en danés, checo y sueco.

Según L. Neubaur, la leyenda se inspiró en las palabras encontradas en el Evangelio de San Mateo 16:28 "Yo os aseguro: entre los aquí presentes hay algunos que no gustarán la muerte hasta que vean al Hijo del hombre venir en su Reino". Esta cita figuraba en el panfleto original de 1602.

Otra leyenda que surgió fue que San Juan no habría de morir hasta la segunda venida de Jesús. Se basa en el evangelio de San Juan, 21:20-23: Pedro se vuelve y ve siguiéndoles detrás, al discípulo a quién Jesús amaba, que además durante la cena se había recostado en su pecho y le había dicho: «Señor, ¿quién es el que te va a entregar?» Viéndole Pedro, dice a Jesús: «Señor, y éste, ¿qué?» Jesús le respondió: «Si quiero que se quede hasta que yo venga, ¿qué te importa? Tú, sígueme.» Corrió, pues, entre los hermanos la voz de que este discípulo no moriría. Pero Jesús no había dicho a Pedro: «No morirá», sino: «Si quiero que se quede hasta que yo venga.»

Otra versión dice que Malco, el asistente del Sumo Sacerdote, al que San Pedro le cortó la oreja, es el Judío Errante. (Juan 18:10).

Una predecesora del relato del Judío Errante es la leyenda aparecida en el "Flores Historiarum" de Roger de Wendover, aparecida en 1228. Un arzobispo armenio que visitaba Inglaterra relató que se había encontrado con José de Arimatea, bajo el nombre de Cartaphilus; éste le contó que había apurado a Jesús durante la crucifixión, y este le respondió "iré mas rápido, pero tú deberás esperar hasta que yo regrese".

Mattew Paris incluyó este párrafo de Roger de Wendover en su propia historia: otro armenio contaba una historia similar, en la versión de 1252.

Se dice que el Judío errante fue visto en Hamburgo en 1547; en España en 1575; en Viena en 1599; en Lubeck en 1601 y 1603; en Praga en 1602; Baviera en 1604; en Bruselas en 1640 y 1774; en Leipzig en 1642; en París en 1644; en Stamford en 1658; en Astrakán en 1672; en Munich en 1721; en Altbach en 1766 y Newcastle en 1790. La última aparición mencionada parece haber sido en los Estados Unidos en el año 1868, visitando al mormón llamado O'Grady. Posiblemente, este último era un impostor que se hacía pasar por el Judío Errante.